Linda Lê sinh tại Đà Lạt. Cha của bà là một kỹ sư người Bắc Việt Nam, mẹ bà là người xuất thân từ một gia đình khá giả có quốc tịch Pháp. Linda Lê sống thời niên thiếu ở Đà Lạt. Năm 1969, sau cuộc Tổng tấn công Tết Mậu Thân 1968, gia đình bà di chuyển về Sài Gòn để tránh chiến tranh. Linda Lê theo học trường trung học Pháp ở Việt Nam và rất thích những tác phẩm của Victor Hugo và Honoré de Balzac.

Năm 1977, Lê cùng mẹ và các chị em rời Việt Nam sang định cư ở Pháp và cư ngụ ở Le Havre, còn người cha ở lại Việt Nam. Năm 1981, bà lên cư ngụ ở Paris, theo học các "Lớp dự bị văn học" (Classes préparatoires littéraires) ở lycée Henri-IV, sau đó vào học ở đại học Sorbonne.

Năm 1995, người cha dự định sang Pháp thăm gia đình, nhưng đã qua đời tại Việt Nam. Dịp này Linda Lê đã trở về Việt Nam để tiễn đưa người cha tới nơi an nghỉ cuối cùng.